当前位置: 首页 >文章 > Stable-Diffusion小知识:什么是LoRA模型?
收藏
分享

Stable-Diffusion小知识:什么是LoRA模型?

举报虎虎职场学院虎虎职场学院发布于 2023-04-272万阅读4点赞
3分钟读完文章,带你了解什么是LoRA模型...

大家刚接触stable diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么什么是LoRA模型?它有什么作用呢?

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

我们举个更容易懂的例子:大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。


下面我们结合实际的例子来看一下LoRA模型的效果。本次使用的大模型和LoRA模型如下,大家可自行访问下载体验:

大模型:CamelliaMIx_2.5D_V2

LoRA模型:Yae Miko | Realistic Genshin LORA

LoRA模型:Adventurers

LoRA模型:Elegant hanfu ruqun style


一、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Yae Miko | Realistic Genshin LORA对比

Prompt:(masterpiece:1.2, best quality), (real picture, intricate details), 1girl, solo, upper body, casual, Small eyes, short hair, minimal makeup, natural fabrics, close-up face, smile, home, white cropped shirt

1-1、仅使用大模型的效果(见下图)


1-2、使用大模型 + LoRA模型的效果(见下图)


总结:在使用LoRA模型并且Prompt无调整的前提下,出图效果发生了明显的变化,让出图的最终结果更倾向于LoRA的风格。


二、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Adventurers对比

这次出图的对比项有3组:1、添加LoRA无新增提示词;2、无LoRA有新增提示词;3、添加LoRA有新增提示词;

这里引入一个新的概念(Trigger Words),Trigger Words的作用是激活LoRA模型中特定的内容,让LoRA知道我们要用这个东西,Trigger Words是制作LoRA模型时,写入到模型里的。

LoRA模型Adventurers的Trigger Words如下:Trigger Words:ARMOR、KNIGHT、ROGUE、PALADIN、WARRIOR、BERSERKER、RANGER、CLERIC、MUSKETEER、VALKYRIE、PIRATE

2-1、使用大模型 + LoRA模型 + 提示词无修改的效果(见下图)


2-2、使用大模型 + 提示词有新增的效果(见下图)

新增提示词:ARMOR, KNIGHT, ROGUE, PALADIN, WARRIOR, BERSERKER, RANGER, CLERIC, MUSKETEER, VALKYRIE, PIRATE


2-3、使用大模型 + LoRA模型 + 提示词有新增的效果(见下图)

新增提示词:ARMOR, KNIGHT, ROGUE, PALADIN, WARRIOR, BERSERKER, RANGER, CLERIC, MUSKETEER, VALKYRIE, PIRATE


总结:无LoRA模型时,加入新的提示词虽然能表现出部分提示词的效果,但是铠甲等物品的表现质感较差,加入LoRA模型后,铠甲等物品的表现质感明显提示了一个档次。这也就是LoRA的美化效果。


三、大模型:CamelliaMIx_2.5D_V2 + LoRA模型:Elegant hanfu ruqun style对比

这次出图的对比项依旧是:1、添加LoRA无新增提示词;2、无LoRA有新增提示词;3、添加LoRA有新增提示词;

LoRA模型Elegant hanfu ruqun style的Trigger Words如下:ru_qun

3-1、使用大模型 + LoRA模型 + 提示词无新增的效果(见下图)


3-2、使用大模型 + 提示词有新增的效果(见下图)

新增提示词:(hanfu:0.9),(ru_qun:1.1)


3-3、使用大模型 + LoRA模型 + 提示词有新增的效果(见下图)

新增提示词:(hanfu:0.9),(ru_qun:1.1)


总结:同案例2展示的一样,仅靠提示词是无法彻底改变出图的风格的,配合上LoRA模型后,出图风格会得到很大的改变。


你不可错过的内容:

使用Autodl进行云端部署stable-diffusion-WebUI超简单教程!

https://huke88.com/article/8078.html

《在Autodl运行的Stable-Diffusion-WebUI中安装LoRA和ControlNet插件》

https://huke88.com/article/8080.html

《Autodl中运行Stable-Diffusion-webui 大模型/LoRA模型下载教程》

https://huke88.com/article/8079.html

《AI绘画真人还原 这是你心目中的篮球少女吗?Stable-Diffusion创作》

https://huke88.com/article/8075.html

《Stable Diffusion控制成图视图 萌新控制成图人物视角》

https://huke88.com/article/8069.html

0条评论
别默默看啦~登录/注册一起参与讨论吧~

暂无评论

请选择举报理由

违反法律法规

侵犯个人权益

有害网站环境

更多训练营>>

为你推荐 · 训练营(全勤打卡报名费全额返累计全额返用户133,673人)

【5月】零基础动态表情包创作训练营
距离开班仅剩13天23人已报名
【6月】人像后期案例实操训练营
距离开班仅剩40天23人已报名
【7月电脑剪映】短视频剪辑入门训练营
距离开班仅剩62天3人已报名
特惠
充值
7折购
今日还在继续学习的你,太棒了!
7
折扣券可用于
年费无限VIP
立 即
使 用
此活动优惠不可与其他活动叠加使用
有效期:000000
消息
登录即可查看消息记录
建议
意见
官方
客服
在线咨询客服热线

您可以与在线客服进行沟通获得帮助

工作日:9:00~22:00节假日:9:00~18:00

联系在线客服

您可以电话联系客服进行沟通获得帮助

工作日:9:30~18:30

400-862-9191
虎课
积分
免费学习89000+个教程!
配套素材、源文件一键下载!
昨日学员已学习了37,480
并提交了326份作业!
登录后立即学习!
loading
微信扫码关注即可登录
您需要同意协议才可以进行登录
登录虎课网,每天免费学课程全站 89000+ 视频会员教程 | 每日可免费学 1
为确保账户信息安全
请先进行真实姓名验证后进行充值付款
立即验证